Tố Hữu có bài thơ Gặp anh Hồ Giáo viết tháng 1 năm 1972, mở đầu bằng đoạn:

"Lần trước gặp anh
Chăn bò trên Tam Đảo
Sáng nay lại gặp anh Hồ Giáo
Chăn bò ở Ba Vì
Hỏi anh: Có thú vui gì?
Anh cười: Vui thú đời đi chăn bò...
Cách mạng cần, việc nhỏ việc to
Đánh Mỹ, nuôi bò, việc gì cũng quý."[10]

Sách giáo khoa Tiếng Việt lớp 2 có bài Đàn bê của anh Hồ Giáo.[11]

Theo nhà văn Hồ Phương, tác giả của truyện ngắn Cỏ non được tuyển chọn trong sách giáo khoa Văn lớp 9, nhân vật Nhẫn trong tác phẩm này đã bị giáo viên và học sinh nhầm lẫn với Hồ Giáo. Cỏ non đoạt giải 3 của báo Văn nghệ năm 1959.[12]

Nhạc sĩ Nhật Lai đã sáng tác bài hát "Bài ca anh Hồ Giáo" được ca sĩ Quốc Hương trình bày[13]. Bài hát có đoạn:

"Ơi anh Hồ Giáo ơi…

Tôi nghe tiếng khèn pi yêu thương giữa lòng anh
Say mê những đàn bê, vâng theo anh Hồ Giáo…
Tôi nghe núi Ba Vì với sông Đà hòa tiếng ca"[14][15]